企业级内网:私有化选型与部署
上一节的"直连国内 API"解决无墙与降本,但推理和数据仍在厂商机房——对真正断网的内网(金融、政企、军工、涉密研发),这不够。这节回答企业级的问题:代码不能出内网时,AI 编码工具怎么落地。两条路线:买成品私有化,或者用开源组件自建"推理 + 网关 + 分发"三件套。
两条路线,先想清楚再动手
买成品:国内大厂都有"企业专属版 + 私有化部署"的产品线,付席位费或项目制询价,厂商负责部署与模型更新,代价是价格不透明、更新节奏受制于人。自建三件套:推理层(vLLM/Ollama)+ 网关层(LiteLLM/new-api)+ 分发层(verdaccio/pnpm),全部开源组件、完全自主,代价是首次部署的工程量和持续更新的运维责任——后者正是下一节的主题。第 17-04 节讲过用 Ollama 跑 bge-m3 做服务端本地推理,这节把它放进完整的企业架构里。
成品私有化:先看国产厂商报价
国内成品的商务模式高度一致:席位订阅 + 私有化项目制询价。2026-10 核实的主流选项:
| 产品 | 公开价格 | 私有化 | 备注 |
|---|---|---|---|
| 通义灵码(阿里) | 企业专属版 ¥159/人/月,100 人起购 | 项目制询价 | 专属 VPC、IP 白名单、企业私有模型训练;网上"迁移 Qoder CN"说法来自二手来源,官网 lingma.aliyun.com 仍在售,以官网现名为准 |
| 文心快码 Comate(百度) | 个人标准版免费;企业专属版 100 人起、30 天试用 | 商务询价 | 二手称公有云旗舰版约 ¥283/席/月,未核实 |
| CodeGeeX(智谱) | 无公开价 | 商务定制 | 底层即 GLM 系模型 |
| Fitten Code(非十科技) | 个人免费 | 官方私有化方案 | 清华系团队 |
| iFlyCode(讯飞) | 无公开价 | 私有化 + OpenAPI | 可切换星火私有化代码模型或任意标准 OpenAI 兼容模型——自备模型的灵活度最高 |
| 腾讯云 CodeBuddy | 企业版 ¥198/人/月(二手来源) | — | 可作对照价 |
再看国际厂商这组反面教材,帮你看清"私有化"不是行业标配:Cursor 官方论坛员工原话 "We don't currently support on-prem, and are focused only on the cloud-based version"——没有 on-prem。Windsurf 在 Codeium 时代曾有企业自托管,但 Cognition 收购后,2026-10-05 官网 /enterprise 页面已是 Devin Enterprise,主打 VPC 部署——Windsurf 企业线并入了 Devin。GitHub Copilot 官方文档明确不支持 GHES 本地部署,模型推理始终在 GitHub 云(Business 19/Enterprise39 每用户每月,Enterprise 还以 GitHub Enterprise Cloud 为前提);能做的是网络层隔离——防火墙 allowlist、Azure VNET、自托管 runner——推理不出云,只是管道受控。
一句话总结这组对比:国际工具基本买不到私有化,国产工具私有化是标配但普遍询价制。评估成品时必问三个问题:模型更新滞后 SaaS 多久(下一节有实测数据)、私有部署的最小硬件规格、能否换用自有模型。
自建三件套之一:推理层
vLLM 是自建 OpenAI-compatible 推理服务的事实标准:96,488 stars(2026-11-07 核实)、Apache-2.0、仍在日更;官方文档覆盖 GPU/CPU/TPU 部署安装与 Helm/K8s 部署,生产集群走 K8s + Helm 是成熟路径。硬件门槛给个量级概念(量级观点,非精确要求):跑主流 30B 级 MoE 模型,单机多卡 A100 或几张 4090 起步。Ollama 走另一端:MIT 协议、186,161 stars(2026-11-07 核实),单机即开即用,第 17-04 节已经用过;但注意它的商业模式是云订阅(本地功能免费,Pro 20/月、Max100/月、Team $500/月),没有企业私有许可产品——内网用 Ollama 商用无法律障碍(MIT),但也别指望厂商支持。实践中的常见分工:个人与小组用 Ollama,集中部署给全公司用 vLLM。
课堂给的选型口径更直接:超过 10 人上 vLLM,3-6 人小组 Ollama 完全够用;前期验证、单机单卡先用 Ollama 打通流程,上高并发再换 vLLM——vLLM 在性能上甩 Ollama 一个量级(知乎有大量对比实测可查)。部署路径建议先用 Docker 把 vLLM 跑通,再上 K8s 以 Pod 形态做推理引擎,难度是递进的,不要一上来就 K8s。硬件口径:vLLM 推荐单卡 A100 或 4090/5090 起步,对模型的支持也更全面;Ollama 没有这种门槛,没有 GPU 时用 CPU 推理小模型做验证也可以。
国产卡口径(2026-10,课堂讲授 + 讲者经验值):市面主流是昇腾 910B/910C,920B/920C 单卡已上 10 万元(早年集采价约 6-8 万,当前溢价明显);vLLM 有官方 Ascend 后端 vLLM-Ascend,docker 镜像下载即可在昇腾上推理千问/DeepSeek 系模型,但性能上大约 3-4 卡昇腾才等价 1 张英伟达卡。华为自家推理引擎 MindIE 对 DeepSeek 系优化尚可、对千问系体验较差(讲者实测观感)。值得留意的生态动作:2026-09-30 DeepSeek 开源了面向昇腾的全套基础设施组件——TileLang 算子编译语言、DeepGEMM、DeepEP、FlashMLA 等,与 CUDA 工具链对齐、适配 128 卡超节点(来源:todayforai.com / aitoollab.cn 2026-09-30 报道),国产算子的软件栈短板在被快速补齐。采购三坑:生态成熟度(文档以中文为主、英文资料少)、版本适配差(要么最新版配新卡、要么旧版配旧模型)、交付排队靠后(常拿到旧卡,要自己规划驱动升级)。逐项对接细节见 19-04 第二章。
成本怎么演算:两个课堂案例
一个实用技巧:把设备与并发参数发给大模型,让它按"项目形态 + 人数 + 并发"帮你演算成本,几十秒出一份可比的方案初稿——演算本身不必是人工苦役。两个课堂上过的案例(2026-10 价格口径,讲者估算):
| 场景 | 模型 | 设备方案 | 成本量级 |
|---|---|---|---|
| 5 人团队,并发 20 路 | Qwen3.8-Flash-Next | 四卡 4090 或两卡 A100 + vLLM | 4090 单卡约 2-3 万元,四卡整机过 10 万 |
| 50 人团队,并发 200 路 | GLM-5.3 | 12 卡 H100 或 8 卡 H200 | H100/H200 基本有价无市 |
4090 的租赁价约 1.9-3 元/卡/小时,短期开发、短期训练用租赁比自购划算。2026 年的市场行情加剧了自购的溢价:高端 GPU 租赁价格半年涨近 40%(知乎横评 2026-08);信通院口径 2026Q1 国内算力租赁市场规模 680 亿元、同比增长 62%,高端卡租赁率超 90%、供不应求(CSDN 引信通院/赛迪数据)——大公司包圆算力,小公司拿卡溢价严重,华为卡同样要渠道且溢价严重。这也是为什么"等一个能力够强的小模型在本地跑"成了很多小团队的期待,但当前小模型的能力普遍不尽如人意(课堂判断)。
Qwen3.8-Flash-Next 补一句背景:2026-08-26 开放权重的多模态 MoE 模型,Qwen4 架构的早期预览——125B 模型 + 51B N-gram Embedding,单 token 激活约 6B,原生上下文 262,144 token;Qwen3.8-Flash 是基于它的生产 API 版本(默认 1M 上下文)。来源:Qwen 团队模型卡与 CSDN/知乎解读(2026-08-26)。
自建三件套之二:网关层
网关解决三件事:协议转换(harness 讲 Anthropic/OpenAI/Responses,推理层讲 OpenAI)、key 分发与用量统计、多渠道管理。三个候选按档位排:
| 网关 | Stars / 许可(2026-11-07 实测) | 状态 | 一句话定位 |
|---|---|---|---|
| LiteLLM | 62,851 / MIT + 企业版 | 活跃 | 虚拟 key、预算、用量统计俱全;被 Codex 官方文档点名为企业网关路径;仓库是双许可结构(enterprise/ 目录商业许可、其余 MIT) |
| new-api(QuantumNous) | 51,513 / AGPL-3.0 | 活跃(2026-11-06 仍有推送) | 协议转换、渠道管理、key 分发、用量统计一体;AGPL 许可——做闭源二次改造前先过法务 |
| one-api | 37,346 / MIT | 最后推送 2026-01-09,约 10 个月未更新(2026-11-07 核实) | 停更风险,不建议新项目采用 |
选型上,要 Codex 生态对接走 LiteLLM 最顺(官方文档背书);要开箱即用的管理界面选 new-api,但 AGPL 的闭源改造边界要心里有数。
课堂选型口径把这件事说得更白:内网环境用 LiteLLM 就够了——MIT 协议可放心基于它做开发,虚拟 key、预算、用量统计齐全,集团内部使用不需要更复杂的统计与分发管理;1-3 个月的短期验证项目同样直接上 LiteLLM。new-api 的强项是协议转换(Claude 系 ↔ OpenAI 系)与渠道管理,一般团队用不到这么重;sub2api(Wei-Shaw/sub2api)是另一路——把 Claude/OpenAI/Gemini 等订阅账号的额度转换成 API 对外分发,定位是中转站而非企业内网网关,别混着选。
自建三件套之三:分发层
内网没有公网 npm,Claude Code(@anthropic-ai/claude-code,npm 上已有 537 个版本,最新 2.1.289)和 Codex(@openai/codex 0.160.0)这些 npm 形态分发的工具需要走私服。verdaccio 是私有 npm registry 的事实标准:17,980 stars、MIT、活跃(2026-11-06 仍有推送,2026-11-07 核实)。两条搬运路线:
# 路线一:verdaccio 代理缓存——有网机器访问公网 npm,内网读缓存
npm install @anthropic-ai/claude-code --registry http://npm.corp.local:4873
# 路线二:tarball 搬运——完全断网时用 npm pack 导出再手动入私服
npm pack @anthropic-ai/claude-code # 得到 claude-code-2.1.289.tgz
# 将 tgz 导入 verdaccio,内网按版本号安装
bash
需要说明:官方首选分发方式是原生安装器(install.sh,带后台自更新),走私服/tarball 是内网场景的通用工程惯例,不是官方内网文档——出了问题要自己排查版本链。配套的离线安装工具是 pnpm fetch:按 lockfile 把全部依赖拉进本地 store(官方定位就是 Docker/离线场景),之后 pnpm install --offline 只从 store 装、缺包即失败(适合 CI 强校验),--prefer-offline 则缺失才联网(适合日常)。Python 侧对应物是 devpi,角色相同不展开。
分发层搭建的完整命令级步骤(verdaccio 断网改造、storage 拷贝导入、.npmrc 配置、推理层 vLLM/Ollama 部署与 dsh 端点对接)已整理成运维手册,见 19-04——它是本节"选型结论"到"落地操作"之间的那本手册。
模型许可红线:拿权重前先读 LICENSE
自建推理层意味着自己选模型权重,而 2026 年的模型许可明显收紧,这是新一代选型红线。逐家核对(2026-10 核实):
| 模型家族 | 许可 | 内网商用结论 |
|---|---|---|
| Qwen3-Coder 系列 | Apache-2.0(480B 与 30B 均已核实) | 可放心商用 |
| GLM-4.5 / GLM-5 | Apache-2.0;GLM-4.6 为 MIT | 可放心商用 |
| DeepSeek V3 / V3.1 / V3.2-Exp | 均 MIT | 可放心商用 |
| Kimi-K2 | Modified MIT | 商用前读修改条款 |
| Kimi-K3 | 自定义 Kimi K3 License | 逐条审,不能想当然按 MIT 用 |
| MiniMax-M2 / M2.1 | MIT | 可商用 |
| MiniMax-M2.5 起 | 自定义 license,GitHub LICENSE 原文标 NON-COMMERCIAL,商用需书面授权 | 内网商用受阻,先拿书面许可 |
两个补充事实:DeepSeek V4 系列(V4.1-Flash / V4-Pro)截至核实日未发布公开权重——组织仓库最新公开权重仍是 V3.2-Exp(MIT),想在内网用 V4 只能走 API,这直接推翻"最新模型自己部署"的默认假设;MiniMax 的转折说明"上一代 MIT"不能外推到下一代,每次拿新权重都要重新读一遍 LICENSE,把这一步写进采购或入库流程。课上还有一句提醒值得记着:许可风险是"人怕出名猪怕壮"——规模小、不赚钱时没人关注你,产品做大了,其中违规的部分才会被有心人拿来利用;合规整改的最佳时机是还没出名的时候。
安全与合规收尾
三件事收口。第一,企业 MITM 证书链:内网出口如果是解密型防火墙,Claude Code 侧要配 NODE_EXTRA_CA_CERTS 指向企业 CA(上一节讲过),Codex 侧同理配 Node 环境——这层不配,工具表现为随机连接失败,排障极其耗时。第二,策略统一下发:Claude Code 有企业级 managed-settings.json 机制(托管配置优先级高于用户/项目设置,可锁权限、锁模型、锁 env),三平台路径与 MDM 分发细节下一节展开。第三,AGPL 传染边界:new-api 是 AGPL-3.0,只部署不改代码风险很低,一旦做闭源二次开发并对外提供网络服务,许可义务就来了——改造前过一次法务,别让网关选型变成合规事故。
选型决策:三行建议
按约束条件收敛(基于本章核实事实的组织,非拍脑袋):
- 数据不极端敏感 + 预算敏感(初创、小团队):不必碰私有化——上一节的国内 API 直连或 Ollama + 开放 harness 即可,月成本从接近零到几百元
- 代码不能出内网 + 无自研运维(百人以上、有采购渠道):成品私有化。通义灵码企业专属版 ¥159/人/月(100 人起)是唯一公开报价的锚点,其余询价时拿它压价;需要接自有模型优先看 iFlyCode
- 代码不能出内网 + 有平台工程团队:自建三件套。vLLM(或小组内 Ollama)+ LiteLLM/new-api + verdaccio,模型从 Qwen3-Coder/GLM/DeepSeek 这三家 Apache/MIT 里选——许可干净、内网商用无障碍
小结
- 成品格局:国内"席位订阅 + 私有化询价"是标配(通义灵码 ¥159/人/月 100 人起是唯一公开锚点);Cursor 无 on-prem、Windsurf 企业线并入 Devin Enterprise、Copilot 推理只在云——国际工具买不到真私有化
- 自建三件套:推理层 vLLM(超 10 人上 vLLM,3-6 人小组 Ollama 够用;先 Docker 跑通再上 K8s);网关层 LiteLLM(Codex 官方点名;内网用 LiteLLM 就够,new-api 偏重、sub2api 定位中转站);one-api 停更 9 个月不推荐
- 成本演算:5 人 20 路并发 → 四卡 4090 / 两卡 A100,整机过 10 万;50 人 200 路并发 GLM-5.3 → 12 卡 H100 / 8 卡 H200 有价无市;4090 租赁约 1.9-3 元/卡/时适合短期项目;高端 GPU 租赁价半年涨近 40%(2026-08 横评)
- 国产卡:910B/910C 主流、920 系单卡 10 万+(早年集采 6-8 万已过去);vLLM-Ascend 约 3-4 卡 ≈ 1 张英伟达卡;DeepSeek 2026-09-30 开源昇腾全套基建(TileLang/DeepGEMM/DeepEP/FlashMLA)
- 分发层:verdaccio 私服 + npm pack tarball + pnpm fetch 离线 store;走私服是工程惯例而非官方支持路径
- 许可红线:Qwen3-Coder/GLM/DeepSeek 可内网商用;MiniMax M2.5 起 NON-COMMERCIAL、Kimi K3 自定义——每次拿新权重重新读 LICENSE;DeepSeek V4 权重未开源
- 合规三件:MITM 证书链(NODE_EXTRA_CA_CERTS)、managed-settings.json 策略下发、AGPL 改造前过法务
↑